ChoreoMaster : Choreography-Oriented Music-Driven Dance Synthesis

https://www.youtube.com/watch?v=V8MlYa_yhF0

Despite strong demand in the game and film industry, automatically synthesizing high-quality dance motions remains a challenging task. In this paper, we present ChoreoMaster, a production-ready music-driven dance motion synthesis system. Given a piece of music, ChoreoMaster can automatically generate a high-quality dance motion sequence to accompany the input music in terms of style, rhythm and structure.To achieve this goal, we introduce a novel choreography-oriented choreomusical embedding framework, which successfully constructs a unified choreomusical embedding space for both style and rhythm relationships between music and dance phrases. The learned choreomusical embedding is then incorporated into a novel choreography-oriented graph-based motion synthesis framework, which can robustly and efficiently generate high-quality dance motions following various choreographic rules. As a production-ready system, ChoreoMaster is sufficiently controllable and comprehensive for users to produce desired results. Experimental results demonstrate that dance motions generated by ChoreoMaster are accepted by professional artists.

ゲームや映画の世界では強い需要があるにもかかわらず、高品質のダンスモーションを自動的に合成することは、依然として難しい課題です。本論文では、プロダクションに対応した音楽駆動型のダンスモーション合成システムであるChoreoMasterを紹介する。この目的を達成するために、我々は新しい振付指向の振付音楽埋め込みフレームワークを導入し、音楽とダンスフレーズの間のスタイルとリズムの両方の関係について、統一された振付音楽埋め込み空間を構築することに成功した。これにより、音楽とダンスフレーズの間のスタイルとリズムの関係を統一的に表現することができる。そして、この学習された振付音楽エンベッディングを、振付指向のグラフベースモーション合成フレームワークに組み込むことで、様々な振付ルールに従った高品質なダンスモーションをロバストかつ効率的に生成することができる。ChoreoMasterは、プロダクション対応のシステムとして、ユーザーが望む結果を生み出すための十分な制御性と包括性を備えています。実験結果は、ChoreoMasterによって生成されたダンスモーションがプロのアーティストに受け入れられることを示しています。